强化学习 · 第二章 · 专题动画

从一条轨迹
到一个数

上一讲把一次选择写成五个符号;这一讲补上“什么算好”:用回报给一条轨迹打分,用价值函数给一个状态定价,再用一行递归把长期问题折成一步。

① 策略 ② 回报 ③ 递归 ④ V 与 Q ⑤ 算例
这一讲的问题

同样的环境,两套策略,谁更好?

回报给一条轨迹打一个分;
价值函数把“多次尝试”平均成一个数。

比谁这一步奖励高 → 比谁的期望折扣回报大
白话 回报:一条轨迹的折扣总分 价值:回报的平均值 期望:多次尝试取平均 递归:自己等于“一步 + 打折的自己”
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
02 · 策略:先把“怎么做”写清楚

策略不是动作表,是“状态 → 动作”的规则

随机策略 / 确定性策略π(a|s) = P(at=a | st=s),Σa π(a|s) = 1 ; a = π(s) 确定性策略是随机策略的特例:概率全压在一个动作上。策略是“状态 → 动作”的映射,不是事先排好的动作序列。
1它是求解的目标
所有算法最后要交付的,就是一套策略;比较策略,就是比较它的价值。
2它是闭环映射
按实际到达的状态决定动作,不是事先排好的动作表;状态变了,动作就跟着变。
3它诱导出一条链
给定 π,环境就变成一条马尔可夫链:转移是 Pπ,奖励是 Rπ。所谓“策略评估”,就算在这条链上。
?为什么允许随机
为了探索、为了博弈、为了部分可观测;但在有限 MDP 里,一定存在确定性最优策略,随机只是更一般的写法。
策略比大小 π ⪰ π′ ⇔ ∀s:Vπ(s) ≥ Vπ′(s) 每个状态都不差,才叫不差;至少存在一个最优策略 π*。
① 策略 · 代入›② 回报›③ 递归›④ V 与 Q›⑤ 算例
03 · 策略代入:把 π 代进两张表

Pπ 和 Rπ,都是「按 π 加权平均」

① 先选动作派决定每个动作的出现机会 S ──π──▶ A 再 ② 再走环境P 和 R 只认动作,不认策略 A ──P,R──▶ S′ 机会不均等,所以要按机会加权;π 只改权重,不改表里的数
两条加权平均Pπ(s′|s) = Σa π(a|s)·P(s′|s,a)  Rπ(s) = Σa π(a|s)·R(s,a) 左边是“加权之后的链”,右边是“逐动作的表”:π 只决定权重,不改表里的数。
动作π(a|s)P(s′₁|s,a)P(s′₂|s,a)R(s,a)
a₁0.60.80.2+1.0
a₂0.30.40.6−0.5
a₃0.10.10.9−0.1
每行转移各自归一:0.8+0.2、0.4+0.6、0.1+0.9 都等于 1;策略也归一:0.6+0.3+0.1 = 1。
π 只决定“怎么混”,P 和 R 才是“表里有什么”。
去 s′₁ 的这条边
Pπ(s′₁|s) = Σa π(a|s)·P(s′₁|s,a) = 0.6×0.8 + 0.3×0.4 + 0.1×0.1 = 0.48 + 0.12 + 0.01 = 0.61
去 s′₂ 的这条边
Pπ(s′₂|s) = Σa π(a|s)·P(s′₂|s,a) = 0.6×0.2 + 0.3×0.6 + 0.1×0.9 = 0.12 + 0.18 + 0.09 = 0.39
0.61 + 0.39 = 1.00 加权之后,概率仍然归一
奖励也按同一个 π 加权
Rπ(s) = Σa π(a|s)·R(s,a) = 0.6×(+1.0) + 0.3×(−0.5) + 0.1×(−0.1) = 0.60 − 0.15 − 0.01 = 0.44
Pπ 决定往哪走,Rπ 决定这一步打几分;两个都由 π 加权而来。 所以换了策略,整条链的转移和奖励一起变。
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
03 · 回报:一条轨迹的分数

不看某一步,看整条轨迹的折现总分

折扣回报Gt = rt + γrt+1 + γ2rt+2 + ⋯ = Σk=0..∞ γk rt+k Gt 是随机变量:它依赖策略的随机性与环境的转移。价值函数才是它的期望。
1
数学上保证有界
若 |r| ≤ Rmax 且 γ < 1,则 |Gt| ≤ Rmax/(1−γ);奖励有界且 γ < 1 时,贝尔曼备份是 γ-压缩映射,迭代因此收敛。
2
时间偏好与不确定性
未来越远,不确定性越大,折现越多;γ 接近 0 是短视,接近 1 是重视长期。
3
经济学折现
未来的 1 元不如现在的 1 元值钱;电池、设备这类有寿命和退化成本的系统,这条尤其真实。
有效视野 ≈ 1/(1−γ)
γ = 0.5 → 2 步;0.9 → 10 步;0.95 → 20 步;0.99 → 100 步。一天 96 个 15 分钟,γ = 0.9 时第 96 步权重只剩 4×10⁻⁵,早间充电几乎影响不到晚间放电。
rt
奖励:单步的即时打分
→
→
Vπ(s)
价值:回报在策略下的期望,是一个确定的数
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
04 · 递归:把无穷折成一步

Gt = rt + γGt+1:整篇最重要的一行

Gt = rt + γGt+1 长期回报 = 这一步的奖励 + 打过折的、从下一步开始的长期回报
① 无穷 → 有限
无穷求和变成一步 + 一个未知函数,可以用方程解。
② 自相似
从今天看到无穷,和从明天看到无穷,结构一样。
③ 一切的地基
贝尔曼方程、TD、Q-learning,都从这一行长出来。
每步都拿 1,γ = 0.9
G = 10
1 + 0.9 + 0.81 + ⋯ = 1/(1−0.9);无限长,却是有限数
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
05 · 价值:给状态和动作各定一个价

回报取期望,才是一个能比较的数

状态价值 / 动作价值Vπ(s) = 𝔼π[ Gt | st=s ] ; Qπ(s,a) = 𝔼π[ Gt | st=s, at=a ] 同一个回报,问法不同:V 问“处在 s 有多好”,Q 问“在 s 先做 a、之后按 π 走有多好”。
V状态价值:站在状态的价
Vπ(s) = 𝔼π[ Gt | st=s ]
到这里之后按策略走,平均能拿多少;策略定了,它就是确定的数。
Q动作价值:先做动作的价
Qπ(s,a) = 𝔼π[ Gt | st=s, at=a ]
差别只有一个词:先做这个动作。Q 多保留了“当前动作”这层自由度。
两者互为表里
Vπ(s) = Σa π(a|s)·Qπ(s,a) ← 按策略加权
Qπ(s,a) = R(s,a) + γ Σs′ P(s′|s,a)·Vπ(s′)
优势函数:把基准减掉
Aπ(s,a) = Qπ(s,a) − Vπ(s)
Σa π(a|s)·Aπ(s,a) = 0;策略梯度靠它降方差,Actor-Critic 里的 TD 误差就是它的样本估计。
V 看处在哪·Q 看先做什么·A 看这个动作比平均好多少
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
06 · 算例:两状态 MDP,手算一遍

把公式坐实:两个状态,一个动作,γ = 0.9

S{ s₁, s₂ } 两个状态
A{ a₁ } 只有一个动作,策略必然确定
γ0.9 有效视野约 10 步
状态动作转移即时奖励
s₁a₁→ s₂(概率 1.0)0
s₂a₁→ s₁(0.5)、→ s₂(0.5)1
单动作 ⇒ 期望方程写成两个状态方程
V(s₁) = 0 + 0.9·V(s₂)
s₁ 只有一条出边,奖励 0,后面只挂 γ 乘唯一的后继价值
V(s₂) = 1 + 0.9·[0.5·V(s₁) + 0.5·V(s₂)]
s₂ 的奖励是 1;括号里是两条出边按 0.5 / 0.5 加权,再整体打 γ 折
代入 V(s₂) = 1 + 0.855·V(s₂) ⟹ 0.145·V(s₂) = 1 ⟹ V(s₂) = 200/29 6.8966 V(s₁) = 180/29 = 6.2069
验算:0.9 × 6.8966 = 6.2069 ✓ ;1 + 0.45 × 13.1035 = 6.8966 ✓ 矩阵式 Vπ = (I − γPπ)−1Rπ ,det = 0.145(γ < 1 保证可逆)
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
06b · 加强理解:把即时奖励改写在每条边上

奖励跟着去向走,V(s₁) 与 V(s₂) 分别怎么变

同上S = { s₁, s₂ } A = { a₁ } γ = 0.9 都与上一例相同
状态动作落到哪里这条边的奖励
s₁a₁→ s₂(1.0)0
s₂a₁→ s₁(0.5)1
s₂a₁→ s₂(0.5)0.8
奖励写在边上 ⇒ 每条边:概率 × [ 边的奖励 + 0.9×下一状态价值 ]
V(s₁) = 1.0·[0 + 0.9·V(s₂)]
V(s₂) = 0.5·[1 + 0.9·V(s₁)] + 0.5·[0.8 + 0.9·V(s₂)]
每个数下面的标注就是它的含义;两个方括号 = s₂ 的两条出边,各自算完再相加
代入 V(s₂) = 0.9 + 0.855·V(s₂) ⟹ 0.145·V(s₂) = 0.9 ⟹ V(s₂) = 180/29 6.2069 V(s₁) = 162/29 = 5.5862
对比:奖励少 0.1,价值少 0.6897(6.8966 → 6.2069) 一句话 写在边上的奖励,先按概率平均
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
07 · 迭代:从 0 开始逼近同一个数

不解方程组,只反复“备份”,也会走到同一个答案

值迭代Vk+1(s) = maxa [ R(s,a) + γ Σs′ P(s′|s,a)·Vk(s′) ] 用旧的估计算一步期望,取最大,替换旧值;只有单动作时,max 退化成期望备份。
kVk(s₁)Vk(s₂)
00.00000.0000
10.00001.0000
20.90001.4500
31.30502.0575
52.26182.9642
103.88254.5720
205.39646.0860
∞6.20696.8966
误差按 ek+1 = γPek 更新;备份的无穷范数收缩因子不超过 γ = 0.9,本例的渐近主收敛率也是 0.9。k=20 时误差仍约 0.920 ≈ 0.12 倍初值,所以表里离终值还差约 0.8。
固定初始误差和容差,所需轮数随 1/(1−γ) 增大,并含容差的对数因子;γ 越接近 1,收敛越慢。
k = 0 起点:全设为 0
V₀(s₁) = 0  V₀(s₂) = 0
k = 1 第一次备份
V₁(s₁) = 0 + 0.9×0 = 0 V₁(s₂) = 1 + 0.9×(0.5·0 + 0.5·0) = 1
k = 2 第二次备份:把 k=1 的值再代回去
V₂(s₁) = 0 + 0.9×1 = 0.9 V₂(s₂) = 1 + 0.9×(0.5·0 + 0.5·1) = 1.45
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
08 · 收束:这一讲只讲了三句话

从一条轨迹,到一个能比较的数

1
策略是映射,不是动作表
π(a|s) 按实际到达的状态选动作;给定 π,环境变成一条链 Pπ、Rπ,评估才有对象。比较策略,就是逐状态比较价值。
2
回报是一条轨迹的折扣总分,且满足递归
Gt = Σ γkrt+k 是随机变量;Gt = rt + γGt+1 把无穷求和折成一步 —— 贝尔曼方程、TD、Q-learning 全从这里长出来。
3
V 是期望,Q 是按动作拆开,A 是两者的差
V = Σπ·Q,Q = R + γΣPV,A = Q − V;两状态算例给出 V(s₂) = 6.8966、V(s₁) = 6.2069,值迭代从 0 也能爬到同一对数字。
策略 π → 回报 Gt → 递归 Gt = rt + γGt+1 → V / Q / A → 算例与迭代
下一章 · 贝尔曼方程:期望方程、最优方程,以及策略迭代
片尾 · 出品说明
朝露记
强化学习 · 第二章 · 专题动画
朝露记出品
内容梳理 讲解配音 动画编排
第二章 · 完 下一章 · 贝尔曼方程与最优策略
解
00:00 / 19:04
空格 播放/暂停 ← → 切幕 R 重播 1–9 跳转